Fine-tuning¶
Fine-tuning bezeichnet den Prozess der Anpassung eines bereits vortrainierten Modells (pre-trained model) auf eine spezifische Aufgabe oder Daten, um die Leistungsfähigkeit des Modells für diese Aufgabe zu verbessern. Hierbei wird die generelle Wissensbasis des Modells beibehalten, während es gleichzeitig für die speziellen Anforderungen und Nuancen des neuen Anwendungsbereichs optimiert wird.
Pre-trained Models¶
Modelle wie Llama 2 und Mistral sind vortrainierte Sprachmodelle, die ein breites Verständnis von Sprache und Wissen bieten. Indem wir solche Modelle als Ausgangspunkt nehmen, können wir von dem bereits erworbenen Wissen und den Fähigkeiten des Modells profitieren. Das spart viel Zeit als auch Ressourcen, die wir im Rahmen von NPR gar nicht hätten. Mittels Fine-tuning passen wir diese Modelle an die unter Ziel genannten Bedürfnisse und Daten des Projekts an. Beide Modelle sind auf der Hugging Face Plattform verfügbar. Die Hugging Face Bibliothek transformers bietet uns eine konsistente Schnittstelle zum Arbeiten mit verschiedenen Sprachmodellen.
Wir haben die folgenden Modelle und Datasets von Hugging Face verwendet:
Quantization und LoRA¶
Beim Fine-tuning müssen verschiedene Faktoren berücksichtigt werden, wie die Modellgrösse im Verhältnis zur verfügbaren GPU-Kapazität. Grössere Modelle benötigen mehr Speicher und Rechenleistung, was die Hardwareanforderungen erhöht und Kosten sowie Zugänglichkeit beeinflusst. Uns steht ein Rechner von Tobias mit einer NVIDIA GeForce RTX 4090 zur Verfügung. Ohne die Anwendung einiger Tricks wäre es uns nicht möglich, die ausgewhählten 7B und 13B Parameter grossen Modelle zu fine-tunen.
Quantization und LoRA (Low-Rank Adaptation) sind Techniken, die helfen, die Effizienz von LLMs zu verbessern, indem sie die Modellgrösse reduzieren oder die Anpassungsfähigkeit erhöhen, ohne signifikante Verluste in der Leistung zu verursachen. Quantization verringert den Speicherbedarf, indem es die Präzision der Gewichte des Modells reduziert. LoRA hingegen ist eine Methode, die die Anzahl der zu trainierenden Parameter reduziert, indem es die Matrizen des Modells in niedrigere Ränge zerlegt.
TODO: weiter ausführen
- fine-tuning benötigt nochmal deutlich mehr memory wie inference
Quantization erklärt¶
Quantization ist der Prozess der Diskretisierung kontinuierlicher Verteilungswerte in diskrete Werte. Dies bedeutet, dass die kontinuierlichen Gewichte des Modells auf eine festgelegte Anzahl von Werten reduziert werden, was den Speicherbedarf und die Rechenzeit verringert.
Motivation: Der Hauptantrieb hinter Quantization ist die Optimierung der Leistung pro genutztem Bit im Modell. Durch die Reduzierung der Präzision der Gewichte eines Modells können wir eine höhere Effizienz in Speicher und Berechnungen erreichen, was besonders auf Hardware mit begrenzten Ressourcen wie unserer GPU von Bedeutung ist.
4-bit integer Quantization: In unserem Fall verwenden wir 4-bit integer Quantization, was bedeutet, dass jedes Gewicht in unserem Modell auf eines von (2^4 = 16) möglichen Werten reduziert wird. Dies bietet einen guten Kompromiss zwischen Modellleistung und Speichereffizienz.
Blockweise Quantisierung: Eine weitere Optimierungstechnik ist die blockweise Quantisierung, bei der Eingabetensoren in kleinere Blöcke unterteilt werden, die unabhängig voneinander quantisiert werden. Dies ermöglicht eine parallele Verarbeitung über Kerne hinweg, was zu einer schnelleren Optimierung und einer hochpräzisen Quantisierung führt.
Relevante Hyperparameter: Neben der Anzahl der Bits gibt es weitere Variablen, die die Quantisierung verbessern können:
- Blockgrösse: Je kleiner die Blockgrösse, desto besser können wir unabhängige Quantisierungen erreichen und so die Genauigkeit erhöhen.
- Datentypen: Auch die Wahl des Datentyps macht einen Unterschied. NormalFloat4 (NF4) zum Beispiel, ist ein informationstheoretisch optimaler Datentyp für Normalverteilungen und kann einen erheblichen Unterschied in der Leistungsfähigkeit machen.
LoRA erklärt¶
Die Kernidee hinter LoRA ist, dass die Änderungen, die während des Fine-tunings an den Gewichten eines Modells vorgenommen werden, durch zwei Matrizen niedriger Rangordnung dargestellt werden können. Dies basiert auf der Annahme, dass es eine lineare Abhängigkeit in den Anpassungen gibt, und folglich kann das Fine-tuning effizienter gemacht werden, indem der Rang dieser Anpassungen reduziert wird.
Technisch gesehen funktioniert LoRA, indem es eine Änderungsmatrix $\triangle{W}$ der Dimensionen $d \times k$ berechnet. Diese Änderungsmatrix wird dann zu den ursprünglichen Modellgewichten hinzugefügt, um sie zu aktualisieren. Die Matrix $\triangle{W}$ wird durch die Multiplikation zweier neuer Matrizen $B$ und $A$ berechnet: $\triangle{W} = B \times A$. Die Dimensionen von $A$ und $B$ sind so gewählt, dass die resultierende Matrix die Dimensionen der Modellgewichte hat, also beispielsweise $d \times r$ für $B$ und $r \times k$ für $A$, wobei $r$ der Rang ist.
Die Matrix $A$ wird in der Regel aus einer Gaussschen Verteilung initialisiert, während $B$ mit Nullen initialisiert wird. Während des Fine-tunings werden dann diese Gewichte durch Backpropagation angepasst, wobei nur die relativ wenigen Parameter in den Matrizen $A$ und $B$ und nicht die gesamten Gewichte des Modells aktualisiert werden.
Einer der Hauptvorteile von LoRA ist, dass es die Parameter Effizienz während des Fine-tunings erheblich verbessert. Anstatt alle Gewichte eines grossen Modells zu aktualisieren, was oft Millionen oder gar Milliarden von Parametern umfasst, werden nur die Gewichte in den niedrigrangigen Matrizen $A$ und $B$ angepasst. Dies führt zu einer drastischen Reduzierung der Anzahl der zu trainierenden Parameter und damit zu einem effizienteren und schnelleren Fine-tuning.
Obwohl LoRA standardmässig auf das Attention Module (insbesondere die Projektionen für Query und Value) angewendet wird (Hu et al., 2021), empfiehlt sich eine Anwendung auf alle Linearen Layer in den Transformer Blöcken (Dettmers et al., 2023), um die volle Leistungsfähigkeit zu erreichen. Die genaue Grösse der Adapter oder die Rangordnung der Matrizen $A$ und $B$ spielt dabei eine untergeordnete Rolle; entscheidend ist vielmehr die Fähigkeit, die relevanten Änderungen während des Fine-tunings effizient zu repräsentieren und zu optimieren.
QLoRa¶
QLoRa kombiniert Quantization und LoRA, und bringt dadurch die beiden Optimierungen zusammen. Im besten Fall bleibt die Performance des Modells sogar gleich wie sie es bei einem vollständigen Fine-tuning wäre (Dettmers et. al., 2023). Insgesamt lässt sich mit QLoRA beispielsweise ein 65B Parameter grosses Modell, welches ursprünglich 780 GB GPU Memory benötigt hätte (ohne Berücksichtigung der Activations während der Backpropagation), auf nur einer grossen Datacenter GPU trainieren. In unserem Fall bedeutet dass, dass wir damit 13B und 7B Modelle wie Llama 2 und Mistral auf der 4090 GPU von Tobias Fine-tunen können.
Training¶
Wir haben QLoRA mit der Hugging Face transformers Library implementiert. Hier sind die Details unserer Fine-tuning Implementierung:
LoRA-Konfiguration:¶
Wir haben LoRAConfig mit spezifischen Parametern eingerichtet:
r: 12 - Der Rang für unsere Matrizen A und B, eine kritische Grösse, die die Anzahl der Parameter, die während des Fine-tunings angepasst werden, bestimmt.lora_alpha: 10 - Ein Multiplikationsfaktor für LoRA-Gewichte, der die Skalierung der LoRA-Updates steuert.lora_dropout: 0.1 - Dropout-Rate, um Overfitting während des Trainings zu vermeiden.bias: "none" - Wir haben uns entschieden, keinen Bias in LoRA zu verwenden.task_type: "CAUSAL_LM" - Unser Modell ist auf kausale Sprachmodellierung ausgerichtet.
BitsAndBytes-Konfiguration:¶
Um die Quantisierungseffizienz zu maximieren, haben wir BitsAndBytesConfig eingeführt:
load_in_4bit: True - Aktiviert die 4-Bit Quantisierung beim Laden von Modellen.bnb_4bit_use_double_quant: True - Nutzt doppelte Quantisierung für verbesserte Genauigkeit bei 4-Bit Werten.bnb_4bit_quant_type: "nf4" - Spezifiziert den Normal-Float-4-Bit Quantisierungstyp, den wir verwenden.bnb_4bit_compute_dtype: torch.bfloat16 - Legt den Datentyp für die Berechnungen fest, um einen guten Kompromiss zwischen Leistung und Genauigkeit zu gewährleisten.
Trainingseinstellungen:¶
Unser Training wird durch die TrainingArguments und den SFTTrainer gesteuert:
output_dir, overwrite_output_dir, per_device_*_batch_size, und andere Standardparameter steuern, wo und wie das Training durchgeführt wird.gradient_accumulation_steps und learning_rate sind fein abgestimmt, um die Effektivität unseres Trainings zu maximieren.logging_steps, num_train_epochs, und lr_scheduler_type sind entscheidend für das Monitoring und die Steuerung des Trainingsverlaufs.evaluation_strategy und save_strategy sind auf "steps" gesetzt, was bedeutet, dass wir regelmässig evaluieren und speichern, um den Fortschritt zu überwachen.load_best_model_at_end: True und metric_for_best_model: "loss" stellen sicher, dass wir am Ende das Modell mit der besten Leistung auswählen.
Der SFTTrainer wird mit unserem Modell, Tokenizer, Daten und spezifischen peft_config für LoRA eingerichtet. Zusätzlich haben wir eine DataCollatorForCompletionOnlyLM eingerichtet, die speziell auf unser Training abgestimmt ist, falls wir nur auf Vervollständigungen trainieren wollen.
Instruction Tuning für Question Answering¶
Beim Instruction Tuning für das Question Answering mit dem Retrieval-Augmented Generation (RAG)-Ansatz werden bestimmte Anweisungen genutzt, um die Leistungsfähigkeit des LLMs bei der Beantwortung von Fragen zu verbessern. Dies geschieht durch die gezielte Ausrichtung des Modells auf eine spezifische Aufgabenstruktur, die in unserem Fall wie folgt aussieht:
[INST] Dir wird eine Frage gestellt, zu der du den passendsten Kontext erhältst. Deine Aufgabe ist es, die Frage anhand dieses Kontexts zu beantworten. [/INST]
[FRAGE] {question} [/FRAGE]
[KONTEXT] {context} [/KONTEXT]
ANTWORT:
Ein entscheidender Aspekt dieser Methodik ist die Integration einer spezifisch formatierten Aufgabenstellung, die die Struktur und den Zweck der Aufgabe klar definiert. Die Anweisung [INST] gibt dem Modell einen klaren Rahmen vor, innerhalb dessen es arbeiten soll: Eine Frage beantworten, indem der bereitgestellte Kontext genutzt wird.
Der [KONTEXT]-Abschnitt enthält eine Sammlung von Informationsquellen, die als Grundlage für die Beantwortung der Frage dienen. Dieser Kontext wird in einem strukturierten Format präsentiert, das aus verschiedenen immer gleich bleibenden Quellen im JSON Format besteht, wie zum Beispiel:
[
{
"QUELLE":"Encyclopedia Britannica",
"INHALT":"Nördlich werden die Great Plains durch den Kanadischen Schild, südlich durch die Küstenebene des Golfes von Mexiko begrenzt. Die westliche Grenze bilden die Rocky Mountains. ..."
},
...
]
Durch die Strukturierung des Kontexts in Quellen und Inhalte kann das Modell relevante Informationen effizient identifizieren und nutzen, um eine genaue und fundierte Antwort zu generieren.
Die Herausforderung beim Instruction Tuning liegt darin, das Modell so anzupassen, dass es nicht nur die Fragestellung versteht, sondern auch in der Lage ist, den Kontext effektiv zu durchsuchen und die relevantesten Informationen für die Beantwortung der Frage herauszufiltern. Dies erfordert ein tiefes Verständnis der Inhalte und der Fähigkeit, Querverbindungen zwischen Frage und Kontext herzustellen. Auch muss es in der Lage sein, am Ende zu identifizieren, welche Quelle anzugeben ist, basierend darauf welche Informationen bei der Generierung der Antwort verwendet wurden.
Das Fine-tuning ist in der Stage train_llm implementiert, und nutzt den modifizierten Germanquad Datensatz nach genau diesem Instruction Tuning Schema.
